SIDInspector: A Mapping-First Diagnostic Resource for Semantic-ID Tokenizers
SIDInspector：面向语义 ID 分词器的映射优先诊断资源
🧭 生成式推荐 · Semantic ID 诊断与剖析 ★ 深度解读
Huawei Technologies
提供一种映射层诊断资源，在生成式推荐训练前揭示 SID 分词器的地址空间缺陷。
📌 工作参考价值（4 点）
- 映射健康检查前置：在启动 generator 训练前，用利用率、别名、前缀邻域对齐、流行度分配、结构成本等探针快速诊断 SID 分词器产物，避免因覆盖缺失或严重别名导致 GPU 浪费。可封装为内部评估模块，集成到 pipeline 中。
- 分离可寻址性与行为对齐：表 2 的核心发现——item-unique 的地址空间并不保证前缀具有行为意义（D3 指标差异显著）。设计 SID 时不应仅追求无冲突码空间，需独立评估前缀捕获协同信号的能力，例如引入 D3 类探针。
- 轻量适配器契约：通过统一定义 item_id→sid_0…sid_L 的最小表结构，可将不同分词器（RQ-KMeans、GAOQ、LETTER 等）归一化到同一诊断框架。在团队内部为不同的 tokenizer 实验建立统一出口规范，降低对比成本。
- 控制行与机制探针校准：用已知压力源（如哈希碰撞、类别前缀、容量预算）生成对照行，验证诊断指标的灵敏性和区分度。在自研评估工具时，集成此类探针可以确保新指标的有效性。